Schuyler Colfax sinh ngày 23 tháng 3 năm 1823, tại Thành phố New York trong gia đình ông tới Schuyler Colfax Sr. (sinh ngày 3 tháng 8 năm 1792), một nhân viên ngân hàng, và bà Hannah Delameter Stryker, người kết hôn vào ngày 25 tháng 4 năm 1820. [1]Ông nội của ông, William Colfax, là trưởng cận vệ của George Washington trong cuộc cách mạng Mỹ, trở thành một tướng quân trong dân quân New Jersey và kết hôn với Hester Schuyler, một người anh em họ của Tướng Philip Schuyler.[1][2] William là chỉ huy tại Sandy Hook trong cuộc chiến tranh 1812.

Cha của Colfax đã mắc bệnh lao và qua đời vào ngày 30 tháng 10 năm 1822, 5 tháng trước khi Colfax ra đời. Em gái ông Mary mất vào tháng 7 năm 1823, 4 tháng sau khi ông được sinh ra. Sau đó mẹ anh tái hôn, trở thành vợ của George W. Mathews. [1] Mẹ và bà của Colfax đã điều hành một nhà trọ như là phương tiện hỗ trợ kinh tế chính của họ. Colfax đã theo học các trường tư thục ở thành phố New York cho đến khi anh 10 tuổi, khi những khó khăn về tài chính gia đình kết thúc giáo dục chính thức và khiến anh làm việc như một thư ký trong cửa hàng thuộc sở hữu của cha dượng của ông.[1][3]

Năm 1836 gia đình Colfax chuyển tới New Carlisle, Indiana.[4] Năm 1841 Mathews được bầu làm Kiểm toán viên Quận St. Joseph, và ông bổ nhiệm Colfax làm phó của ông, một vị trí mà Colfax đã nắm giữ trong suốt tám năm Mathews từng là kiểm toán viên. [1]